前面幾天,我們請了一整隊 AI:收件員、動工員、品管員、拍照員、整修師傅、翻譯、策展人。每次改一點東西,我都想問同一個問題:
這個團隊今天做事的方式,跟昨天一樣嗎?
人工一個一個看,看不完。今天要講的是:怎麼讓機器拿著一張「作業流程單」,替我核對。
工廠有個老做法:每一條生產線都有一張標準作業流程單——先做 A、再做 B、B 要用這個規格、最後才出貨。驗收員不需要懂產品好不好看,他只做一件事:把今天的打卡紀錄,拿去跟流程單逐行對。
我們專案裡的「驗收員」是 ADK 內建的 adk eval,「流程單」是一個叫 evalset 的檔案。裡面有 5 道題,每題寫著:
五題分別是:完整跑一趟、做壞的貨會自己修、零件改中文名、挑重點寫解說、還有「看照片的人只能扣分」這條鐵律。
沒有 AI 門票,團隊照劇本走,驗收員逐題核對:5 題全過,約 34 秒。
只看到全綠不算數。我複製一份流程單,故意改壞三題,看驗收員抓不抓得到:
另外兩題沒動,照樣合格。所以這個驗收員很嚴:少一步、順序不對、連數字不同都會被抓。
這 5 張流程單,是我們拿「劇本版團隊」的打卡紀錄抄下來的。所以現在的全綠,證明的是「劇本沒被改壞」,不是「真的 AI 做事也一樣」。真 AI 上場後,它很可能走出不一樣的路,到時候流程單要重新對一次。這件事還沒做,因為我們還沒有足夠的 AI 額度。
驗收員有兩種門檻:只對流程(不需要 AI),和「流程+最後回報的文字」(需要 AI)。
我曾經踩到:你的口袋裡放了 AI 門票(金鑰檔),驗收員會自己翻出來用,於是「離線驗收」悄悄變成「花真錢的驗收」,還把當天的免費額度用掉。現在的指令在執行前先把門票收走,已經修好了。
至於文字那半:沒有 AI 時,我用劇本版的回報硬去對「理想中文回報」,5 題裡 2 題過、3 題不過。這不代表管線壞了,而是比對文字本來就要等真 AI 開口,才有意義。